#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import json
from generate.generator import BasicGenerator

import logging

'''
task = {
    'type': 'download_xx',               # 必填，任务类型
    'url': 'http://www.xx.com/id.html'   # 必填，url地址， get请将参数放到url中
    'file': './data/download_xx/id.html' # 选填, 是否要存成文件
    'duplicated': False,                 # 选填, False为不去重
    'duplicated_key': 'xx',              # 选填, 去重的key，一般不使用
    'method': 'post',                    # 选填, post接口用
    'params': {'a':'b', 'c':'d'}         # 选填, 传参数
    ...                                  # 其它自定义参数
    'data'                               # data 已经预留，不允许使用
    'expire_time'                        # 选填, 传去重过期时间
}

config = {
    'name'
    'mq'
    'stat'
    'proxy'
    'mdb'
    'analyze_type'
}
'''


# IT橘子投资机构
class ItjuziProjectGenerator(BasicGenerator):

    def gen_task(self, extra=None):
        for i in range(20000):
            url = 'https://www.itjuzi.com/api/investments/' + str(i)
            print(url)
            task = {
                'type': self.name,
                'url': url,
                'project_id': i,
                # 'file': './data/download_qhee/{0}.html'.format(str(project_id[0]))
            }
            length = self.rds.rpush(self.queue_name, json.dumps(task))
            logging.info('{0} {1}'.format(length, task))
            self.stat.incr(self.stat_hash, 'gen_task')
